UNA TEORÍA PARA LA MEJORA SISTÉMICA DE LA EDUCACIÓN EN AMÉRICA LATINA

A Theory For Systemic Improvement of Education in Latin America

Axel RIVAS
Universidad de San Andrés. Argentina.
arivas@udesa.edu.ar
https://orcid.org/0000-0003-4714-3511

Fecha de recepción: 12/01/2022
Fecha de aceptación: 03/03/2023
Fecha de publicación en línea: 01/07/2023

Cómo citar este artículo / How to cite this article: Rivas, A. (2023). Una teoría para la mejora sistémica de la educación en América Latina [A Theory For Systemic Improvement of Education in Latin America]. Teoría de la Educación. Revista Interuniversitaria, 35(2), 169-190. https://doi.org/10.14201/teri.31102

RESUMEN

El estudio de la mejora de los sistemas educativos tiene un escaso desarrollo en la tradición de la investigación en América Latina. La aparición de las evaluaciones estandarizadas, que permiten la comparación en el tiempo de los logros, ha generado interpretaciones sesgadas o simplistas sobre las causas de los resultados de aprendizajes. La propuesta de una teoría de la mejora sistémica parte de estas advertencias y busca generar un marco que escape a los sesgos de las evaluaciones con una actitud pragmática que pueda interpretarlas y usarlas para consolidar una visión de la complejidad de los sistemas educativos.

La teoría fundamentada que se presenta está basada en múltiples investigaciones previas y se organiza en base a cuatro ejes analíticos combinados: 1-la gobernanza sistémica, 2-la expansión de capacidades de los actores del sistema, 3-la alineación de la rendición de cuentas y 4-la coherencia en la traducción curricular. Estos ejes requieren entrar en la caja negra del funcionamiento de los sistemas educativos y advertir las múltiples capas que median entre las políticas y las prácticas de enseñanza. Para lograr avanzar en esta dirección se plantean una serie de derivaciones metodológicas que favorezcan testeos empíricos de la propuesta teórica. Finalmente, se aborda el problema epistemológico y político de la definición de los procesos de “mejora sistémica” y la necesidad de usar y al mismo tiempo ir más allá de las evaluaciones estandarizadas.

Palabras clave: mejora sistémica; sistemas educativos; educación comparada; América Latina; política educativa; evaluaciones estandarizadas; calidad de la educación; gobernanza educativa.

ABSTRACT

The study of the improvement of educational systems has little development in the tradition of research in Latin America. The appearance of standardized assessments, which allow the comparison of student’s achievement over time, has generated biased or simplistic interpretations of the causes of learning outcomes. The proposal for a theory of systemic improvement is based on these warnings and seeks to generate a framework that escapes evaluation biases with a pragmatic attitude that can interpret and use them to consolidate a vision of the complexity of educational systems.

The grounded theory that is presented is based on multiple previous research and is organized based on four combined analytical axes: 1-systemic governance, 2-the expansion of capacities of the education system actors, 3-the alignment of accountability and 4-coherence in curricular translation. These axes require entering the black box of the functioning of educational systems and noticing the multiple layers that mediate between policies and teaching practices. In order to advance in this direction, a series of methodological derivations are proposed that favor empirical testing of the theoretical proposal. Finally, the epistemological and political problem of defining the processes of "systemic improvement" and the need to use and at the same time go beyond standardized evaluations are addressed.

Keywords: systemic improvement; educational systems; comparative education; Latin America; educational policy; standardized assessments; quality of education; educational governance.

1. INTRODUCCIÓN

En América Latina las evaluaciones estandarizadas que miden los aprendizajes aparecieron en la mayoría de los países a comienzos de los años 1990 (Martínez Rizo, 2008). En estos largos 30 años surgieron también las pruebas comparadas internacionales que se aplican en la región: PISA de la OECD para nivel secundario y ERCE de la UNESCO para nivel primario. América Latina se pobló de mediciones que permiten comparar la evolución de los resultados en el tiempo. Sin embargo, casi no existen antecedentes de investigación sobre la mejora de los sistemas educativos a partir de estos datos. Mucho menos podemos hablar de un campo de investigación sobre la temática. Justamente cuando es posible medir la evolución de los sistemas y señalar quiénes mejoran o empeoran en los titulares de los periódicos, no parece ser objeto de atención desde el campo de la investigación.

Esta es la paradoja de las pruebas estandarizadas: echan luz sobre los sistemas hasta enceguecerlos. Las pruebas son muchas veces mal interpretadas o utilizadas políticamente. Generan malestar en casi todos los sistemas. Incluso los que mejoran muchas veces no lo saben porque la noticia es el “bajo nivel”, siempre detectable en una región con tan amplias deudas sociales (Ravela, 2003). Identificar los casos de mejora parece ser un trabajo cómplice con estos reflectores estandarizados que se posan sobre los sistemas. Aparecen las dudas, los temores, las excusas y el desinterés por la “mejora medible”, como si fuese un mero efecto de poder de quienes usan las pruebas para juzgar desde fuera lo que ocurre dentro de los sistemas.

Ese vacío del campo de la investigación es llenado de manera apresurada por intérpretes no especializados que realizan análisis superficiales o por la impronta tecnocrática de los organismos internacionales que buscan establecer relaciones de causalidad para realizar recomendaciones de política.

La ausencia de estudios comparados profundos y rigurosos sobre la mejora de los sistemas educativos en la región es el punto de partida de este artículo. En su base está la búsqueda de una comprensión más elaborada sobre cómo funcionan los sistemas, cómo pueden llegar a mejorar y qué significados tiene el concepto de “mejora”. Con ese fin propongo una teoría para analizar la mejora de los sistemas educativos en América Latina que pueda escapar a las conclusiones apresuradas y a las desconfianzas en las mediciones. Una visión teórica de la mejora sistémica es un paso necesario ante la avalancha de discursos no especializados que realizan hipótesis ingenuas o incompletas sobre los resultados de las pruebas. Al mismo tiempo, es un eslabón necesario entre la investigación empírica y las recomendaciones de política.

Para abordar este propósito propongo comenzar por identificar algunos de los obstáculos que enfrenta el estudio de la mejora sistémica en la región.

En primer lugar, debemos enfrentar las limitaciones metodológicas de las pruebas. En estudios previos hemos demostrado que las propias pruebas PISA han tenido cambios metodológicos que hacen incomparables los resultados posteriores a las ediciones 2006 con las previas en los países de América Latina (Rivas y Scasso, 2021). Es posible advertir esto a partir de la transparencia de las bases de datos y los marcos metodológicos de la prueba PISA. Sin embargo, las pruebas nacionales de calidad de la educación en los países de la región muchas veces no presentan la información abierta y no aclaran hasta qué punto es válida la comparación intertemporal (Fernández-Cano, 2016).

En segundo lugar, la limitación de las pruebas más conocida es la referida al recorte particular del sistema educativo y a los posibles incentivos para focalizar la enseñanza en aquello que es medido. Muchos estudios previos han analizado los efectos de la “enseñanza para la prueba” de las políticas basadas en resultados (Verger et al., 2018, Lewis, y Lingard, 2015). Los incentivos de las evaluaciones pueden generar sesgos en el currículum y limitar la visión del aprendizaje a aquello que es medido. El exceso de presión de los resultados también puede generar un efecto de agotamiento en los docentes y acelerar su salida del sistema educativo (Gundlach et al., 2010).

En tercer lugar, debemos encontrar la manera de mirar la educación latinoamericana en su propio contexto. El análisis regional de los sistemas educativos permite una comparación más equidistante, poniendo en relieve aspectos culturales, económicos y sociales que comparten los países de América Latina, más allá de sus evidentes diferencias. La mirada regional en la educación comparada es especialmente adecuada para evitar el foco en países o sistemas individuales o saltar a comparaciones de contextos muy diferentes.

Para adentrarnos en el contexto de América Latina, este artículo plantea el desarrollo de una teoría fundamentada (grounded theory) de la mejora sistémica de la educación. En base a distintas investigaciones previas (Rivas y Scasso, 2020; Rivas, 2021, Rivas, 2022), junto con un amplio equipo de colaboradores hemos elaborado concepciones que dialogan con la evidencia empírica recolectada sobre la mejora de los sistemas educativos a nivel nacional y subnacional en América Latina. Hemos comparado durante dos décadas cientos de sistemas educativos en la región a partir de numerosas variables y metodologías. El diálogo entre esta evidencia empírica y las teorías internacionales sobre la mejora sistémica alimenta la propuesta teórica de este artículo.

2. UN OBJETO DE ESTUDIO ELUSIVO

El análisis de la mejora de los sistemas educativos reconoce una larga línea de estudios de la tradición comparada de la educación que ha buscado casos de éxito mundial para copiar las “recetas” en otros contextos. Con la aparición de las evaluaciones estandarizadas internacionales esta literatura emergió con más fuerza al tener un parámetro de medición de los aprendizajes (Barber, y Mourshed, 2007; OECD, 2010; Tucker, 2011; Steward, 2012; Creese et al., 2015; Schleicher, 2018; Crato, 2021).

Pero estas eran las miradas sobre “los mejores del mundo”, no sobre los que lograban mejorar en el tiempo. Los estudios sobre la mejora de los sistemas y subsistemas educativos reconocen una trayectoria más prolongada en la comparación subnacional de distritos y estados en Estados Unidos, un país que combina la fuerte descentralización con la medición de los aprendizajes (Murphy, y Hallinger, 1988; Snipes et al., 2002). Las historias de los casos de éxito de los distritos comenzaron a ser analizadas: el distrito 2 de Nueva York, Long Beach, el distrito Sanger de California y San Diego, entre otros.

En una perspectiva más internacional, el documento que marca un antes y un después en esta literatura es el informe de la consultora McKinsey sobre 20 casos de mejora sistémica en distintos lugares del mundo (Mourshed et al., 2010). El estudio encontró una serie de estadios de crecimiento de los sistemas educativos que están marcados por fases evolutivas de recetas universales de políticas. Este estudio fue criticado por sus criterios blandos de comparación, que desconocen la complejidad de los contextos históricos y culturales de los países estudiados (Coffield, 2012).

Como analizamos en una revisión sistemática de la literatura sobre la mejora de los sistemas educativos (Barrenechea, Beech y Rivas, 2022), existen otros numerosos antecedentes de estudios de casos individuales de mejora: Ontario en Canada, (Osmond y Campbell 2018), Shanghai en China (Pang y Miao, 2017), Londres en Inglaterra (McAleavy y Elwick, 2016), Polonia (Zawistowska, 2014), Gales (Harris y Jones, 2017) y Sudáfrica (Fleisch, 2016).

Esta literatura gira en torno de distintos ejes analíticos, donde predominan las perspectivas de cambio cultural de los sistemas educativos (Fullan, 2016). El influyente estudio de Elmore (2004) caracterizan a los procesos de mejora sistémica como integrados, multidimensionales, altamente focalizados en objetivos comunes y con coherencia en las intervenciones. Hopkins (2007) destaca que las reformas que logran mejoras sistémicas construyen capacidades a nivel de las escuelas con apoyo externo combinado con crecimiento endógeno de autonomía pedagógica.

Esta literatura se ocupa predominantemente de los países desarrollados. Existen algunos antecedentes clásicos que analizan la mejora en países en vías de desarrollo con escasos recursos y capacidades instaladas (Dalin, 1994). Otros estudios se han concentrado en analizar los factores asociados a los resultados educativos, especialmente en las nuevas tendencias que se concentran en sistematizar las evaluaciones de impacto (Masino y Niño-Zarazúa, 2016).

En América Latina el campo de investigación sobre la mejora de los sistemas educativos es limitado. El estudio de Carnoy (2007) analizó los casos de Brasil, Chile y Cuba, aunque no en base a la mejora en las pruebas sino en el resultado estático que mostraba a Cuba con los mejores resultados de la región en las pruebas de la UNESCO. Nuestro propio estudio pionero elaboró algunas hipótesis luego de comparar a lo largo de 15 años las políticas y los resultados educativos de siete países de la región (Rivas, 2015). Otro antecedente es la investigación comparada de estados y municipalidades en Brasil que lograron mejoras en sus resultados (Carnoy et al., 2017). El estudio reciente del proyecto RISE analizó casos internacionales de mejora sistémica de la educación en países en vías de desarrollo e incluyó algunos de América Latina (Crouch, 2020).

Estudios más específicos se han centrado en el análisis individual de los casos: Perú (Cueto et al., 2016), Ceará (Vieira et al., 2019), Sobral (Cruz y Loureiro, 2020) y Pernambuco (Neto, 2017). Nuestra investigación comparada sobre 12 casos de mejora a nivel subnacional retoma varios de estos trabajos previos en el primer análisis en profundidad de varios casos de mejora en distintos países de la región (Rivas, 2021).

La construcción de teoría sobre la mejora sistémica de la educación no termina de hallar forma en un campo con tan pocos antecedentes empíricos. Los organismos internacionales de crédito han elaborado algunos modelos teóricos basados en la nueva gestión pública y la creación de mecanismos de incentivos basados en la competencia de mercado (Vegas y Petrow, 2008). Otros estudios complementarios a esa perspectiva buscaron las claves de la economía política que favorecen las reformas basadas en la descentralización y la presión de la competencia (Grindle, 2004).

Las pruebas de la UNESCO en la región dieron lugar a documentos sobre los factores asociados a los logros en las pruebas (LLECE-UNESCO, 2013), aunque todavía resta investigar en profundidad sobre los contextos y las políticas de los países que han logrado mejoras en la región.

La ausencia de un campo de investigaciones sobre la mejora de los sistemas educativos se ve contrastada en América Latina por la emergencia reciente del campo de las escuelas efectivas, una temática cercana en términos teóricos y metodológicos. Este campo de investigación es abundante y tiene sus anclajes en publicaciones claves (Murillo, 2007, Bellei et al., 2014), revistas académicas e incluso congresos internacionales. Con una audiencia más concentrada en los directivos escolares, esta literatura ha consolidado distintos marcos teóricos que convergen en un campo de investigación consolidado. En cambio, la mejora de los sistemas educativos es todavía un terreno poco explorado, que no parece llamar la atención de la investigación académica pese a la existencia de múltiples casos nacionales y subnacionales para comparar luego de tres décadas de evaluaciones. Tampoco ha sido objeto de debates teóricos o de la búsqueda de distintas metodologías para abordar las preguntas que dejan abiertas estas evaluaciones.

3. CONDICIONES TEÓRICAS

Toda teoría asume referencias filosóficas, políticas y epistemológicas que conviene explicitar. El campo de estudio de la mejora de los sistemas educativos está atravesado por disputas que van más allá de lo metodológico y reconstruyen modelos de razonamiento científico, campos disciplinares y tradiciones teóricas.

Para estudiar la mejora de los sistemas educativos, propongo una primera condición teórica referida a un abordaje epistemológico que permita escapar a la disputa entre el positivismo y la hermenéutica interpretativa como paradigmas dominantes de la educación comparada (Crossley, y Watson, 2003). En las posiciones más cercanas al positivismo, que encuentran su vertiente clásica en Edmund King, se propone asimilar los métodos de las ciencias naturales para encontrar fórmulas generalizables, leyes predictivas del comportamiento de los sistemas educativos. En la tradición interpretativa se encuentran las visiones arraigadas en la educación comparada de Brian Holmes, que analiza la historia y los contextos en profundidad, buscando ampliar la comprensión de los sistemas y no la aplicación de recetas de política.

La búsqueda de leyes universales tiene un apego por los métodos cuantitativos que las evaluaciones estandarizadas han favorecido. La impronta positivista se conecta con el interés práctico de la investigación para la toma de decisiones y con realizar recomendaciones “basadas en evidencia”. En su análisis del campo del estudio de la efectividad escolar, Fuller y Clarke (1994) llamaban a quienes pertenecen a esta tradición los “mecánicos de la política”. Las soluciones parecen no tener fronteras: basta encontrar una práctica educativa que funcione para llevarla a otro contexto totalmente distinto. En cambio, los “culturalistas del aula” responden a paradigmas interpretativos donde las políticas se encuentran con distintas tradiciones y sentidos que no pueden extraerse de sus contextos (Fuller y Clarke, 1994). En esta segunda perspectiva, las prácticas pedagógicas, los materiales de enseñanza, los procesos de socialización que atraviesan los alumnos están inevitablemente atravesados por los significados culturales en los cuales se insertan, lo cual limita la replicabilidad de las políticas.

La disputa epistemológica clásica entre la generalización y la especificación puede ser eludida desde una tercera tradición, que asumimos en nuestra posición teórica: la actitud pragmática. Lars Mjøset (2006) presenta esta corriente teórica para el campo de la educación comparada. La actitud pragmática continua una tradición empirista con un fuerte desarrollo teórico. La teoría es definida como una acumulación reflexiva de conocimiento empírico que realiza un ejercicio en espiral de constatación y reformulación. Las metodologías cualitativas permiten mayor flexibilidad para esta actitud pragmática que busca “el estudio sistemático de constelaciones de factores individuales” (Mjøset, 2006, p. 350).

Además de una actitud pragmática, se propone un abordaje holístico que sea capaz de analizar la complejidad de los sistemas educativos situados en contextos culturales, sociales y políticos específicos. Las miradas simplistas sobre los resultados educativos son un obstáculo epistemológico. Resulta tentador buscar grandes factores para explicar la mejora: un cambio de gobierno, el aumento del financiamiento educativo o ciertas políticas estelares. Sin embargo, los procesos de cambio de prácticas de enseñanza a gran escala tienen una complejidad que impide el análisis lineal de causa-efecto. Nuestro postulado es que si no se entra en esa “caja negra” de los procesos de cambio de las prácticas de enseñanza no es posible conceptualizar la mejora sistémica.

Nuestra perspectiva teórica toma como referencia los estudios previos sobre la complejidad de los sistemas educativos (Burns, y Köster, 2016; OECD, 2015; Snyder, 2013). En esta perspectiva, los resultados no pueden ser explicados por vía de los componentes singulares de intervenciones sino en base a los flujos de interacción entre sujetos e instituciones educativa a gran escala. Los sistemas educativos son estructuras orgánicas no lineales que evolucionan en múltiples capas de retroalimentación de interacciones simultáneas (Sabelli, 2006).

Este abordaje implica combinar saberes de distintas disciplinas. El campo de la ciencia política permite analizar los sistemas de gobierno y las relaciones de poder entre las instancias centrales estatales y las instituciones locales de educación. El campo de la didáctica y el currículum permiten conceptualizar la estructura del conocimiento y la enseñanza, sus modos y posibilidades de cambio en base a influencias externas o internas de los actores. Al mismo tiempo, la sociología favorece las reflexiones sobre la distribución de los aprendizajes y los efectos sociales de las políticas y estructuras educativas. Incluso una mirada más epistemológica, filosófica y antropológica nos abre las puertas para pensar los significados de la mejora medible en las pruebas y cómo conceptualizar las ideas sobre los aprendizajes más valiosos para una sociedad y sus individuos.

El análisis de estos procesos solo puede profundizarse de manera localizada. Nuestra hipótesis teórica es que la mejorar sistémica cobra rasgos específicos en contextos regionales como América Latina, con una amplia tradición compartida de modos de organización de la educación, capacidades instaladas en los actores del sistema y recursos disponibles en sociedades desiguales con amplios niveles de pobreza. Estas condiciones, más allá de las enormes diferencias entre países, permiten situar los umbrales de actuación de la política pública en contextos específicos.

4. UNA TEORÍA FUNDAMENTADA DE LA MEJORA SISTÉMICA DE LA EDUCACIÓN

Siguiendo la tradición pragmática de la teoría fundamentada (Glaser, 1992), los postulados que aquí se proponen están basados en múltiples investigaciones previas (Barrenechea, Beech y Rivas, 2022). En particular, la más relevante ha sido el estudio comparado de 486 sistemas educativos subnacionales en Argentina, Brasil, Chile, Colombia, México y Perú (Rivas y Scasso, 2020). Allí comparamos todos los indicadores educativos durante el período 2004-19, identificando casos de mejora en cada uno de los países y constatándolos a partir de una consulta con expertos. La selección de 12 casos de mejora sistémica prolongada en el tiempo nos permitió estudiarlos en profundidad con entrevistas a los actores clave. Este trabajo fue desarrollado por un equipo de 19 investigadores de los seis países y permitió construir el desarrollo de una teoría fundamentada de la mejora sistémica para el contexto de América Latina que se presenta en este artículo.

La teoría propone cuatro grandes ejes analíticos combinados:

1.la gobernanza sistémica

2.la expansión de capacidades de los actores del sistema

3.la alineación de la rendición de cuentas

4.la coherencia en la traducción curricular.

La gobernanza sistémica refiere a las capacidades estatales de gestión de un proceso de mejora. Una amplia literatura sobre las capacidades estatales permite situar este eje en las teorías provenientes de las ciencias políticas. El clásico estudio de Mann señala la importancia del poder infraestructural del estado, como un tejido de legitimidad que permite penetrar en las creencias y prácticas de la sociedad dentro de un territorio (Mann, 1984). A diferencia del poder despótico, el poder infraestructural implica relaciones de cooperación y confianza entre los ciudadanos y su gobierno.

Los estudios sobre capacidades estatales destacan la necesidad de priorizar entre demandas múltiples, hacer un uso eficaz de los recursos, coordinar objetivos contradictorios en un todo coherente y lograr estabilidad institucional de las políticas, entre otras cuestiones (Weaver y Rockman, 1993). En el campo educativo, algunas investigaciones han propuesto una sistematización de las dimensiones que definen la calidad de la gobernanza de los sistemas educativos (López Rupérez et al., 2020) y las capacidades estatales en la conducción de las políticas educativas (IIEP-UNESCO, 2012).

El análisis específico de las capacidades estatales en América Latina ha sido un tema ampliamente estudiado (Repetto, 2022; Grassi y Memoli, 2016; Soifer, 2012, Kurtz, 2013). El trabajo reciente del Banco Interamericano de Desarrollo se concentra en el concepto de la confianza como eje vertebrador de la calidad y la sustentabilidad de las políticas públicas en la región (Keefer y Scartascini, 2022). Esto coincide con el enfoque de Ehren y Baxter (2021) y los estudios de Cerna (2014) sobre la importancia de la confianza en la gestión de las políticas educativas.

Nuestra investigación previamente citada nos ha permito elaborar una conceptualización de las capacidades estatales en la gobernanza de los sistemas educativos que lograron mejorar en América Latina. Con base en la evidencia empírica recolectada, allí destacamos las siguientes características de las capacidades estatales que inciden en la mejora de los sistemas educativos subnacionales de la región:

(1)otorgar prioridad política a la educación y blindarla de las batallas partidarias de corto plazo

(2)comprender la cultura del sistema educativo, escuchar sus voces y respetar a los docentes

(3)tener un liderazgo serio, reflexivo y flexible para generar acuerdos y legitimidad en las acciones

(4)desarrollar equipos profesionales en la gestión de las políticas

(5)generar articulaciones con distintos actores dentro y fuera del sistema educativo.

Estas características se combinan con un enfoque incremental de la política pública, que parece especialmente relevante en la inestabilidad política y social de América Latina. A diferencia de los estudios que concentran su foco en recetas de políticas a implementar más allá de los contextos, como el conocido Informe Mckinsey (Mourshed et al., 2010), lo que encontramos en nuestras investigaciones previas es que la mejora se construye de manera dinámica y flexible. Como señalaba Oszlak (1980), el intento de planificación excesiva no brinda las dosis de realismo necesario de los territorios inestables de actores en América Latina. A diferencia de los enfoques ex ante, la tradición incremental señala la importancia de los pasos intermedios o de efectos “bola de nieve” de políticas que se abren paso ganando legitimidad y continuidad.

Esto se constata en los enfoques de iteraciones de resolución de problemas (Andrews et al., 2017): es más importante lograr avanzar a paso cierto y generar confianza en la capacidad de solucionar temas relevantes para los actores del sistema que seguir unas recetas universales de política. Gracias a estos giros de retroalimentación se genera más confianza en las distintas esferas de gobierno y se construye un camino flexible con foco en la mejora por vía de distintas puertas al sistema. Este enfoque construye lo que hemos llamado en estudios anteriores, una “plataforma de gobierno de la educación”, sin la cual no es posible implementar de manera efectiva las complejas políticas que alteran los resultados de aprendizaje a gran escala (Rivas y Scasso, 2020).

La gobernanza sistémica genera efectos combinados en la dimensión simbólica y material del espacio y el tiempo de los sistemas educativos. En el campo simbólico afianza en los actores del sistema una serie de prioridades, motivaciones y visiones compartidas. En el plano de la secuencia temporal genera garantías de continuidad y sostenibilidad de las políticas.

El segundo eje, referido a las capacidades de los actores del sistema, define las condiciones de la dinámica y horizontalidad de los procesos de mejora. Las prácticas educativas tienen la característica de ser muy descentralizadas e interpersonales: operan en el nivel micro de las aulas mediadas por la intervención personal de miles de docentes individuales. No se puede forzar la mejora ni digitar desde fuera: es necesaria la participación, el involucramiento y la subjetivación de los procesos encarnados en numerosos actores individuales y colectivos.

Burns y Koster (2016) desarrollan un enfoque de las capacidades de un sistema educativo en cuatro niveles: individual, institucional (a nivel escolar), sistémico y societal. El nivel individual se define a partir de las posibilidades que tienen los sujetos del sistema de desarrollar nuevas ideas en el contexto local a partir del conocimiento existente. Esto se expande a partir del nivel institucional donde es clave la dirección escolar para generar ambientes de aprendizaje y reflexión constante.

Este eje puede implicar la generación, expansión y liberación de capacidades dentro del sistema educativo, tres procesos diferentes que pueden combinarse entre sí. Lo relevante en este eje es la construcción de una dinámica creciente de aprendizaje, reflexión y poder de agencia por parte de los educadores. Sin este enfoque dinámico los procesos de mejora pueden suceder en una etapa (quizás más instrumental y tecnocrática) pero no sostenerse en el tiempo. Avanzar en esta dirección implica la construcción de un cierto ecosistema donde se valoren y comuniquen de manera efectiva los procesos de aprendizaje a nivel local para que no se dispersen y, de esta manera, evitar la dependencia de las políticas que intervienen desde fuera hacia dentro o desde arriba hacia abajo en términos jerárquicos.

En América Latina encontramos contextos diversos de interacción de los actores educativos. En algunos sistemas educativos como el caso de Colombia, existe una fuerte tradición de autonomía de las escuelas y docentes, mientras en otros casos como México hay mecanismos de regulación pedagógica centralizada más rígidos y estructurados (como los libros de texto que produce el Estado y entrega a todos los alumnos del país). Más allá de ciertas características compartidas en la región, esta dimensión varía ampliamente tanto en los circuitos de formación docente inicial como en las prácticas de regulación y control de las escuelas.

El tercer eje refiere a los procesos de rendición de cuentas que expresan la alineación y el control de los sistemas educativos. La rendición de cuentas indica la existencia de una serie de objetivos compartidos, definidos con claridad, comunicables y alcanzables, que son monitoreados con regularidad y producen cierta consistencia sistémica entre las prácticas, las motivaciones y las expectativas de los actores e instituciones educativas.

La rendición de cuentas depende de la creación de un tablero de control de datos que permiten identificar responsabilidades y logros a escala de las instituciones educativas. En todos los casos estudiados de mejora sistémica, esta base de información sistémica y detallada aparece como una condición necesaria para la planificación de acciones y para la asignación compartida de responsabilidades. Esto es lo que llamamos en estudios anteriores el “enfoque multifocal” de la mejora: un dispositivo de flujo de información constante sobre los logros de cada escuela en múltiples indicadores para poder definir un plan de mejora, asistencia externa y/o incentivos para impulsar a los diversos actores del sistema en objetivos compartidos.

Estudios previos se han centrado particularmente en los esquemas de rendición de cuentas como el núcleo de la mejora sistémica. Pritchett (2015) desarrolló un modelo teórico centrado en la coherencia sistémica. La coherencia se construye cuando el equilibrio es balanceado en la autonomía, las capacidades y la rendición de cuentas que tienen los actores del sistema; cuando la información fluye de manera clara y compacta para definir los propósitos; y cuando estos propósitos son coherentes a escala del sistema completo, demarcando un rumbo compartido (Pritchett, 2015).

Nuestra hipótesis teórica en este punto es que los procesos de rendición de cuentas en América Latina son indisociables de la gobernanza sistémica: necesitan de instituciones de gobierno sólidas, confiables y perdurables para asentarse en los actores de una manera no excesivamente rígida ni sofocante. Los casos de mejora sistémica que hemos estudiado previamente muestran la importancia de los sistemas de rendición de cuentas: en Ceará, Pernambuco (estados de Brasil) y Puebla (estado de México) encontramos sistemas alineados de objetivos, incentivos y mediciones constantes. Sin embargo, estos sistemas estaban acompañados de grandes dosis de confianza en las instituciones de gobierno y procesos de apoyo constante a las escuelas que tienen condiciones más adversas. No se trata de sistemas de competencia excluyente sino que combinan una “presión positiva” por los resultados con mecanismos de apoyo preventivos basados en la colaboración y coordinación entre escuelas.

El cuarto eje abre la caja negra de los procesos de mejora y se refiere a la estructura de la traducción del conocimiento escolar. En palabras de Basil Bersntein (2000) nos referimos a los procesos de recontextualización pedagógica que condensan la organización y gestión sistémica del currículum.

La gobernanza curricular nos remite a los estudios sobre el flujo pedagógico que viaja de las políticas a las aulas. El trabajo pionero de Cohen y Spillane (1992) señalaba la importancia de combinar consistencia, especificidad y claridad con los niveles de prescripción, jerarquización y secuenciación del currículum. Quizás el estudio más emblemático de esta corriente teoría es el libro “Why Schools Matter”, que estudió el flujo de la política curricular en los 54 países participantes de la prueba TIMMS. Allí se destacaba que los países con mejores resultados tienen una estructura curricular con más foco, claridad, articulación y rigurosidad (Schimdt et al., 2001).

La hipótesis detrás de este cuarto eje de la teoría es que no se puede producir una mejora sistémica sin comprender la dinámica interna de gestión del conocimiento escolar. En algunos casos de sistemas educativos subnacionales se pueden producir procesos de mejora con relativa independencia de la estructura de gobierno curricular, pero estas mejoras estarán siempre limitadas por un factor externo no controlable que puede ser potenciado por las agencias que tienen mayor capacidad de regulación curricular (en muchos países estas atribuciones están en manos nacionales, mientras los gobiernos locales tienen facultades curriculares acotadas).

La capacidad de adecuación curricular y pedagógica requiere una combinación de conocimientos técnicos, diálogos con los actores del sistema y continuidad en el tiempo. Estos tres factores escasean en América Latina. Quizás esa sea una de las razones por las cuales es tan difícil encontrar procesos de mejora sistémica en la región. En estudios previos en la región se desataca el bajo nivel de claridad, foco y rigor en los instrumentos curriculares (Valverde, 2009). Una investigación comparada sobre los sistemas educativos de Cuba, Chile y Brasil destacaba cómo Cuba lograba mejores resultados educativos en base a una fuerte integración entre el currículum, la formación docente y los materiales para la enseñanza (Carnoy, 2007).

Los casos que hemos hallado en nuestra propia investigación sobre los sistemas educativos subnacionales en América Latina van en la misma dirección. Los casos de Ceará y Pernambuco en Brasil, Córdoba en Argentina y Puebla en México tuvieron una capacidad destacada de gestión curricular, con fuertes competencias técnicas y dispositivos coordinados que producen materiales y guías en diálogo con los docentes y las escuelas (Rivas, 2021). Estos son ejemplos de conversión de los canales de política curricular y pedagógica en verdaderos dispositivos que traccionan en conjunto para lograr mejores resultados.

Nuevamente este eje se potencia con el desarrollo de los ejes analíticos anteriores. Por ejemplo, las políticas curriculares también se combinan con la legitimidad de las instituciones de gobierno. Estudios previos comparados indican que los países con mejores resultados en las evaluaciones estandarizadas tienen un sistema de gobierno curricular confiable que propone a los docentes contenidos que puedan interpretar, entender y aplicar, con procesos de retroalimentación y calibración constante (Schimdt y Prawat, 2006).

5. ESTRATEGIAS METODOLÓGICAS

El marco teórico para el análisis de la mejora de los sistemas educativos en América Latina tiene una derivación empírica directa. En este apartado se presentan algunas estrategias metodológicas que permiten el análisis de los procesos de mejora utilizando este marco teórico.

5.1. Multiplicar las fuentes de datos sobre los procesos de mejora y analizar la validez intertemporal de cada fuente

La primera estrategia metodológica retoma uno de los obstáculos centrales de los estudios sobre la mejora de los sistemas educativos: la frágil validez metodológica de la comparación intertemporal de las evaluaciones estandarizadas (especialmente) y otros indicadores educativos.

Existen distintas estrategias metodológicas para enfrentar este obstáculo. La primera implica en análisis metodológico de la validez intertemporal de las evaluaciones estandarizadas. Un análisis de los documentos metodológicos de las pruebas es un primer paso, pero muchas veces en América Latina las pruebas no definen de manera explícita estos aspectos técnicos y es necesario realizar entrevistas con los agentes especializados oficiales para comprender mejor los posibles sesgos y problemas metodológicos de las pruebas. Lamentablemente las pruebas estandarizadas son instrumentos con alto margen de error y pueden terminar generando estudios sobre casos de mejora que en realidad solo cristalizan alguna falla metodológica en la aplicación de las pruebas.

Una segunda estrategia complementaria es la multiplicación de las fuentes de datos que permiten medir los casos de mejora. Si se analizan países se recomienda comparar distintas evaluaciones estandarizadas: las pruebas nacionales e internacionales (la mayoría de los países de América Latina tiene evaluaciones propias y participa de pruebas internacionales). Otra manera de multiplicar las fuentes es apelar a una visión más amplia del ecosistema de datos que tienen los países: datos de acceso a la educación, trayectorias de los alumnos, equidad educativa, entre otros. Así se pueden seleccionar casos de mejora en varios indicadores consistentes a lo largo del tiempo, evitando grandes saltos de un año a otro en las evaluaciones estandarizadas que pueden ser fruto de problemas estadísticos y no mejoras reales.

Otras estrategias cuantitativas más sofisticadas pueden permitir comprender el funcionamiento de distintas variables asociadas a las pruebas y en particular el efecto de valor agregado entre distintas ediciones, controlando otros factores como el contexto social de los estudiantes (Carnoy et al. 2017).

Finalmente, otra manera de escapar de las trampas de las evaluaciones estandarizadas es ampliar la mirada sobre qué significa la mejora sistémica. Por ejemplo, se pueden realizar entrevistas a expertos en los sistemas educativos analizados para encontrar posibles procesos de mejora que no sean captados en las evaluaciones o se puede consultar a los actores del sistema sobre aspectos educativos que no son evaluados de manera estandarizada.

5.2. Comparación de casos mediante múltiples variables cuanti y cualitativas

Para generar hipótesis sobre los procesos de mejora sistémica es clave apelar al análisis comparado de descripción, interpretación, yuxtaposición y comparación simultánea (Beraday, 1964). Un caso que logra mejoras en su propia prueba puede ser analizado, pero la mirada comparada con otros casos que participan de pruebas comparadas internacionales o subnacionales permitirá poner en juego múltiples variables analíticas. Muchas de las explicaciones singulares pueden ser falsificadas a partir de la comparación con casos equiparables.

Las estrategias cuantitativas pueden servir si existen datos comparables que permitan medir factores asociados a lo largo del tiempo en un conjunto de casos. Esto permite realizar análisis de regresión múltiples para aislar variables.

El estudio de factores macro-estructurales que afectan los resultados educativos es una estrategia complementaria necesaria para evitar los posibles sesgos de las bases de datos disponibles. Por ejemplo, es clave estudiar las diferencias en los resultados en las pruebas estandarizadas en distintas áreas de aprendizaje y años evaluados para confrontar distintos tipos de políticas educativas implementadas.

El principio de la falsificación requiere comparar múltiples variables con distintos tipos de datos disponibles. Si la mejora se concentró en lectura pero no en matemática, ¿hay posibles hipótesis de intervenciones diferenciales de política? Si la mejora fue mayor en primaria que en secundaria, ¿fue porque hubo diferencias de políticas, de gobernabilidad del subsistema o de factores exógenos a la educación que afectaron más a un grupo etario que a otro? Si la mejora fue durante un período de tiempo y luego se detuvo, ¿hubo políticas específicas que se discontinuaron? Si la mejora fue en una edición de la prueba, ¿cuál es el plazo de los efectos de las políticas, considerando que los alumnos comienzan su escolarización mucho antes de ser evaluados y arrastran esos aprendizajes de manera longitudinal?

Para indagar estas grandes preguntas es importante mapear las políticas educativas en su contexto histórico. El análisis de documentos y la realización de entrevistas con actores claves son las metodologías más conocidas para esta tarea de reconstrucción de las trayectorias de las políticas (Gale, 2001). Esto permite construir un mapa sistemático de intervenciones en un período de tiempo que debería retomar el momento en que comenzaron su recorrido educativo los alumnos evaluados en la primera edición de las pruebas que se están comparando hasta el año final de esas mismas pruebas. La secuenciación del contexto socio-económico y de cada una de las estrategias relevantes de política permitirá construir distintos escenarios y contrastar hipótesis que aparecen muchas veces a priori y que no sobreviven la comparación sistemática de variables en el tiempo y espacio.

5.3. Analizar la recepción de las políticas educativas y la cultura del sistema

El mapeo de políticas y variables macro-estructurales son herramientas vitales pero limitadas para comprender la complejidad de los sistemas educativos. Incluso los cuestionarios complementarios a las pruebas, que aportan información relevante de los actores e instituciones del sistema, tienen limitaciones metodológicas evidentes. Una tercera estrategia metodológica implica entrar en el tejido interno del sistema educativo para captar las traducciones de las políticas, las interpretaciones y las capacidades de los actores en su territorio. La realización de entrevistas con docentes, alumnos y actores de la comunidad educativa es un paso clave, pero requiere muchos recursos y tiempo para realizar muestras representativas. Cabe aquí remarcar que aunque no respondan a una muestra representativa estas entrevistas pueden ser importantes para tomar la temperatura del sistema y conocer desde los testimonios algunas visiones que permitan sofisticar o matizar argumentos macro-políticos.

Realizar entrevistas o grupos focales con directivos de escuelas puede ser una estrategia valiosa para captar las representaciones de los actores del sistema en una escala más acotada. Un paso más allá siempre deseable pero muy costoso para practicar es la observación o filmación de clases o los trabajos de corte etnográfico de observación participante de la vida diaria de las instituciones educativas. Esta vía permite encontrar las prácticas en su ambiente natural, no mediadas por las representaciones de los testimonios de los actores entrevistados.

El análisis del interior del sistema educativo favorece la reconstrucción de los recorridos, traducciones y reinterpretaciones de las políticas educativas. Esto permite revisar hipótesis muchas veces ingenuas o incompletas sobre los efectos de las políticas en los resultados educativos. A su vez, la visión de los actores del sistema (incluyendo a los estudiantes) es un camino recomendable para analizar qué significa la mejora más allá de las mediciones. En muchas entrevistas y observaciones se puede escapar a la prisión de los datos cuantitativos para interpretar cómo un sistema educativo genera múltiples efectos y aprendizajes que no pueden ser captados por sistemas estandarizados.

5.4. Análisis del flujo curricular

Una estrategia metodológica complementaria a las anteriores es el estudio del flujo de la política curricular. Esta estrategia permite abrir la caja negra de las traducciones de la estructura del conocimiento escolar. Algunos estudios internacionales han analizado el impacto del currículum prescripto, los libros de texto y la planificación docente en los resultados de las evaluaciones estandarizadas (Schmidt et al., 2001; Westbury y Hsu, 1996). Estas líneas de investigación no se han aplicado en general en América Latina y queda mucho por conocer de los procesos de traducción curricular, su evolución en el tiempo y la comparación de contextos y países.

El propósito central de esta estrategia es comparar los modelos de organización, prescripción, coherencia y extensión curricular para comprender la manera en que afectan los procesos de aprendizaje.

6. DISCUSIÓN

Los cuatro ejes analíticos de la mejora sistémica son piezas que encajan en un rompecabezas. No pueden verse aisladamente. Es en la combinación que generan lo que podríamos llamar “la combustión” necesaria para la mejora sostenible continua. Esto no implica que los sistemas mejoren únicamente cuando están presentes estos cuatro ejes, desde ya que pueden estar más desarrollados unos que otros y sintonizar de distintas maneras en cada contexto con las tradiciones vigentes de ese sistema educativo.

El esquema teórico propuesto intenta dar un marco para desarrollar estudios empíricos. Viene de las investigaciones en sistemas comparados y vuelve a ellas. La teoría fundamentada se construye en base a mucha investigación previa que permite desarrollar categorías asentadas en evidencias concretas y un marco que pueda pasar por la verificación de múltiples casos de mejora.

Se trata de un modelo teórico que se apoya especialmente en los estudios previos compilados por Ehren y Baxter (2021). Allí las autoras desarrollan un marco analítico de las reformas sistémicas basado en tres ejes vertebradores: la confianza, la rendición de cuentas y las capacidades. Estas tres dimensiones son complementadas en nuestro marco teórico por una cuarta, referida al proceso de traducción curricular que brinda más relieve a las maneras en las cuales se vinculan las políticas macro con las prácticas locales con foco en la coherencia y alineación curricular del sistema.

A su vez, nuestra teoría busca un desarrollo específico para el contexto de América Latina. Partiendo del estudio de casos de mejora en la región y de la adecuación de las categorías a las particularidades del contexto, este artículo favorece una mirada comparada de los sistemas educativos basada en la yuxtaposición de factores de semejanza y cercanía. ¿Puede este mismo marco teórico ser útil para analizar la mejora sistémica en otros contextos? Desde luego que sí, pero partiendo de la concepción de la teoría fundamentada, basada en múltiples estudios empíricos previos, resulta más adecuado plantear la propuesta teórica ajustada al contexto del cual parte.

El diálogo de este modelo teórico con algunos antecedentes relevantes en el campo de la política educativa es inevitable. Existe en particular un anclaje central en el estudio de la mejora sistémica que es el conocido Informe Mckinsey (Mourshed et al., 2010). Nuestros estudios previos encuentran muchas similitudes con algunas de las conclusiones centrales de este informe. En particular, vemos el flujo que se produce entre la regulación centralizada para los contextos de bajo desarrollo y la extensión de las capacidades locales para lograr consolidar procesos de mejora. Sin embargo, nuestro enfoque se diferencia en un eje central que es el de la lectura de los contextos y el análisis de las modalidades de gobierno.

A diferencia de las recetas universales que plantea el Informe Mckinsey, nuestra teoría argumenta que la mejora es posible en condiciones de flexibilidad y con enfoques incrementales. No es tan decisivo qué políticas se implementan sino de qué manera se gobierna el sistema: es más importante lograr avances concretos, generar confianza, construir legitimidad y abrir puertas que aplicar una receta específica de manual. Los sistemas educativos de América Latina son frágiles e inciertos: lo que genera procesos de mejora es dinámico, contextualizado y fuertemente apoyado en la resolución de problemas concretos que viven los actores del sistema. Esta lógica más territorial, situada e incremental se combina con los otros ejes analizados: la construcción de capacidades; la definición clara de objetivos y la coherencia de la rendición de cuentas; y la alineación sistémica de los marcos curriculares que alimentan las prácticas pedagógicas.

Por último, cabe remarcar el punto ciego de nuestra teoría. Uno de los ejes que explican la baja densidad teórica y empírica del debate académico sobre la mejora de los sistemas educativos en América Latina es el significado que adquieren las mediciones estandarizadas de la calidad. Reducidas a recortes sesgados sobre los fines de la educación, las pruebas son una jaula de hierro para los sistemas. Cuando son fuertes marcas del camino a seguir (mediante rendiciones de cuentas de alto impacto) tienen el riesgo de reducir las áreas no evaluadas y enseñar para la prueba.

¿Puede esta teoría ser suficiente para escapar a este magnetismo de lo medible? Hay dos maneras de contestar esta pregunta. La primera es empírica y requiere estudios que analicen si las pruebas estandarizas se correlacionan bien con los aprendizajes no medibles. Sabemos poco en este terreno, pero no es imposible avanzar desde la investigación en medir de maneras más amplias y en analizar aquello que no se mide con otras estrategias metodológicas.

La segunda respuesta está anclada en el posicionamiento político de nuestra propuesta teórica. No es necesario caer en una polarización “blanco-negro”. Las pruebas estandarizadas bien pueden tener o generar sesgos, pero también tienen un valor en sí mismo. Basta ver lo más básico: si los alumnos pueden o no leer y comprender un texto es un componente central de su derecho a la educación y esto puede efectivamente medirse. Esta actitud pragmática, como la hemos definido, no cae en la mirada tecnocrática de las evaluaciones como espejos de los sistemas. Justamente es el estrato teórico el que permite conceptualizar la complejidad de lo que se mide y, sobre todo, de cómo se modifican las prácticas de un sistema completo para que sus resultados cambien.

Salir de los sesgos analíticos simplistas que proponen hipótesis lineales de explicación de los resultados es un paso necesario para revisar qué es y qué significa la mejora sistémica. Esperamos contribuir a esta búsqueda con una teoría que sea aplicable y abierta a la vez a otras visiones sobre cuáles son los objetivos de los sistemas educativos en contextos diversos y en un mundo cambiante e incierto.

REFERENCIAS BIBLIOGRÁFICAS

Andrews, M., Lant P., & Woolcock, M. (2017). Building state capability: Evidence, analysis, action. Oxford University Press.

Barber, M., & Mourshed, M. (2007). How the world’s best-performing school systems come out on top. McKinsey & Company.

Barrenechea, I., Beech, J., & Rivas, A. (2022). How can education systems improve? A systematic literature review. Journal of Educational Change https://doi.org/10.1007/s10833-022-09453-7

Bellei, C., Contreras, C., Vanni, X., y Valenzuela, J. (2014). Lo aprendí en la escuela: ¿Cómo se logran procesos de mejoramiento escolar? Lom Ediciones.

Bernstein, B. (2000). Pedagogy, symbolic control and identity: Theory, research, critique. Rowman & Littlefield.

Bereday, G. (1964). Comparative Method in Education. Holt, Rinehart & Winston.

Burns, T., & Köster, F. (2016). Governing Education in a Complex World. OECD Publishing.

Carnoy, M. (2007). Cuba’s Academic Advantage. Stanford University Press.

Carnoy, M., Marotta, L., Lozano, P., Khavenson, T., Recch, F., Guimarães, F., & Carnauba, F. (2017). Intranational Comparative Education: What State Differences in Student Achievement Can Teach Us about Improving Education—the Case of Brazil. Comparative Education Review, 61(4), 726-759. https://doi.org/10.1086/693981

Cerna, L. (2014). Trust: what it is and why it matters for governance and education. OECD Education Working Papers, no. 108 (November). http://dx.doi.org/10.1787/5jxswcg0t6wl-en

Coffield, F. (2012). Why the McKinsey reports will not improve school systems. Journal of Education Policy, 27(1), 131-149. https://doi.org/10.1080/02680939.2011.623243

Cohen, D., & Spillane, J. (1992). Chapter 1: Policy and practice: The relations between governance and instruction. Review of Research in Education,18(1), 3-49. https://doi.org/10.3102/0091732X018001003

Crato, N. (2021). In Improving a Country’s Education. Springer.

Creese, B., Gonzales, A., & Isaacs, T. (2015). Aligned instructional systems: Cross-jurisdiction benchmarking report. Center for International Education Benchmarking.

Crossley, M., & Watson, K. (2003). Comparative and international research in education. Globalisation, context and difference. Routledge Falmer.

Crouch, L. (2020). Systems Implications for Core Instructional Support Lessons from Sobral (Brazil), Puebla (Mexico), and Kenya. RISE Insight Series. 2020/020. https://doi.org/10.35489/BSG-RISE-RI_2020/020

Cruz, L., & Loureiro, A. (2020). Alcançando um Nível de Educação de Excelência em Condições Socioeconômicas Adversas: O Caso de Sobral. World Bank Group.

Cueto, S., León, J., & Muñoz, I. G. (2016). Conductas, estrategias y rendimiento en lectura en PISA: análisis para el Perú. REICE: Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 14(3), 5-31. https://doi.org/10.15366/reice2016.14.3.001

Dalin, P. (1994). How Schools Improve. An International Report. Cassell.

Ehren, M., & Baxter, J. (2021). Trust, Accountability and Capacity in Education System Reform. Global Perspectives in Comparative Education. Routledge.

Elmore, R. (2004). School Reform from the Inside Out: Policy, Practice, and Performance. Harvard Education Press.

Fernandez Cano, A. (2016). A Methodological Critique of the PISA Evaluations. Relieve, 22(1). http://dx.doi.org/10.7203/relieve.22.1.8806

Fleisch, B. (2016). System-wide improvement at the instructional core: Changing reading teaching in South Africa. Journal of Educational Change, 17(4), 437-451. https://doi.org/10.1007/s10833-016-9282-8

Fullan, M. (2016). The elusive nature of whole system improvement in education. Journal of Educational Change, 17(4), 539- 544. https://doi.org/10.1007/s10833-016-9289-1

Fuller, B., & y Clarke, P. (1994). Raising school effects while ignoring culture? Local conditions and the influence of classroom tools, rules and pedagogy. Review of Educational Research, 64(1), 119–157. https://doi.org/10.3102/00346543064001119

Gale, T. (2001). Critical policy sociology: Historiography, archaeology and genealogy as methods of policy analysis. Journal of Education Policy, 16(5), 379–393. https://doi.org/10.1080/02680930110071002

Glaser, B. G. (1992). Basics of grounded theory analysis. Sociology Press.

Grassi, D., & Memoli, V. (2016). Political determinants of state capacity in Latin America. World Development, 88, 94-106. H

Grindle, M. (2004). Despite the Odds. The Contentious Politics of Education Reform. Princeton University Press.

Gundlach, G. T., & Cannon, J. P. (2010). ‘Trust but verify?’ The performance implications of verification strategies in trusting relationships. Journal of the Academy of Marketing Science, 38, 399–417. https://doi.org/10.1007/s11747-009-0180-y

Harris, A., & Jones, M. (2017). Professional learning communities: A strategy for school and system improvement? Wales Journal of Education, 19(1), 16-38. https://doi.org/10.16922/wje.19.1.2

Hopkins, D. (2007). Every school a great school: Realizing the potential of system leadership. McGraw-Hill Education.

IIEP-UNESCO. (2012). Strengthening of Education System. IIEP-UNESCO.

Keefer, P., y Scartascini, C. (2022). La clave de la cohesión social y el crecimiento en América Latina y el Caribe. BID.

Kurtz, M. (2013). Latin American State Building in Comparative Perspective: Social Foundations of Institutional Order. Cambridge University Press.

Lewis, S., & Lingard, B. (2015). The Multiple Effects of International Large-Scale. Assessment on Education Policy and Research. Discourse: Studies in the Cultural Politics of Education, 36(5),621–637. https://doi.org/10.1080/01596306.2015.1039765

LLECE-UNESCO. (2013). Factores asociados al aprendizaje en el SERCE: Análisis de los factores latentes y su vínculo con los resultados académicos de los niños. OREALC-UNESCO Santiago.

López Rupérez, F., Expósito-Casas, E., y García, I. (2020). Un marco analítico para la evaluación de la calidad de la gobernanza de los sistemas educativos. Revista Iberoamericana de Educación, 83(1), 53-76. https://doi.org/10.35362/rie8313672

Mann, M. (1984). The autonomous power of the state: its origins, mechanisms and results. Archives Europénnes de Sociologie, 25(2), 185-213. https://www.jstor.org/stable/23999270

Martínez Rizo, F. (2008), La evaluación de aprendizajes en América Latina, Cuadernos de Investigación, 32, INEE.

Masino, S., & Niño-Zarazúa, M. (2016). What works to improve the quality of student learning in developing countries? International Journal of Educational Development, 48, 53-65. https://doi.org/10.1016/j.ijedudev.2015.11.012

McAleavy, T., & Elwick, A. (2016). School Improvement in London: A Global Perspective. Education Development Trust.

Mjøset, L. (2006). No fear of comparisons or context: on the foundations of historical sociology. Comparative Education, 42(3), 337-362. https://doi.org/10.1080/03050060600875584

Mourshed, M., Barber, M., & Chijioke, C. (2010). How the World’s Most Improved School Systems Keep Getting Better. McKinsey & Company.

Murillo, F. (Coord.). (2007), Investigación Iberoamericana sobre eficacia escolar. Convenio Andrés Bello.

Murphy, J., & Hallinger, P. (1988). Characteristics of instructionally effective school districts. The Journal of educational research, 81(3), 175-181. https://doi.org/10.1080/00220671.1988.10885819

Neto, R. M., Medeiros, H. A., Mello, F. M., de Oliveira, F. M., Lira, M. H., & Paiva, F. (2017). Ensino médio na rede estadual de Pernambuco: educação integral e pacto de gestão por resultados. Cadernos Cenpec, [S.l.], 6(2), junio. http://dx.doi.org/10.18676/cadernoscenpec.v6i2.363

OECD. (2010). Strong Performers and Successful Reformers in Education. Lessons from PISA for the United States. OECD Publishing.

OECD. (2015). Governing Complex Education Systems – Framework for Case Studies. OECD Publishing.

Osmond-Johnson, P., & Campbell, C. (2018). Transforming an education system through professional learning: developing educational change at scale in Ontario. Educational Research for Policy and Practice, 17(3), 241-256.

Oszlak, O. (1980). Políticas públicas y regímenes políticos: reflexiones a partir de algunas experiencias latinoamericanas. Estudios CEDES, 3(2). http://repositorio.cedes.org/handle/123456789/3470

Pang, N. S., & Miao, Z. (2017). The Roles of Teacher Leadership in Shanghai Education Success. Bulgarian Comparative Education Society, 15. https://eric.ed.gov/?id=ED574221

Pritchett, L. (2015). Creating education systems coherent for learning outcomes: Making the transition from schooling to learning. RISE-WP-15/005. https://riseprogramme.org/publications/creating-education-systems-coherent-learning-outcomes

Ravela, P. (2003). ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? PREAL.

Repetto, F. (2022). Capacidad estatal: requisito para el mejoramiento de la política social en América Latina. Banco Interamericano de Desarrollo.

Rivas, A. (2015). América Latina después de PISA. Lecciones aprendidas de la educación en siete países (2000-2015), CIPPEC, Natura e Instituto Natura.

Rivas, A. (2021). La mejora sistémica de la educación. Estudio de casos en América Latina. Fundación Santillana.

Rivas, A. (2022). The long road to systemic improvement in education: a comparative multi-level case study in federal countries. Comparative Education, 59(1), 77-98. https://doi.org/10.1080/03050068.2022.2133860

Rivas, A., y Scasso, M. (2020). Las llaves de la educación. Estudio comparado sobre la mejora de los sistemas educativos subnacionales en América Latina. Fundación Santillana.

Rivas, A., & Scasso, M. (2021). Low stakes, high risks: the problem of intertemporal validity of PISA in Latin America. Journal of Education Policy, 36(2), 279–302. https://doi.org/10.1080/02680939.2019.1696987

Sabelli, N. (2006). Complexity, technology, science, and education. The Journal of the Learning Sciences, 15(1), 5-9. https://doi.org/10.1207/s15327809jls1501_3

Schleicher, A. (2018). How to build a 21st-century school system. OECD Publishing.

Schmidt, W., McKnight, C., Houang, R., Wang, H., Wiley, D., Cogan, L., y Wolfe, R. (2001). Why Schools Matter: A Cross-National Comparison of Curriculum and Learning. Jossey-Bass.

Schmidt, W.H., & Prawat, R.S. (2006). Curriculum coherence and national control of education: Issue or non-issue? Journal of Curriculum Studies, 38, 641–658. https://doi.org/10.1080/00220270600682804

Snipes, J., Doolittle, F., & Herlihy, C. (2002). Foundations for Success: Case Studies of How Urban School Systems Improve Student Achievement. Council of the Great City Schools.

Snyder, S. (2013). The Simple, the complicated, and the complex: educational reform through the lens of complexity theory. OECD Education Working Papers, no.96.

Soifer, H. (2012). Measuring state capacity in contemporary Latin America. Revista de Ciencia Política 32(3). https://doi.org/10.4067/S0718-090X2012000300004

Steward, V. (2012). A World-Class Education: Learning from International Models of Excellence and Innovation. ASCD.

Tucker, M. (2011). Surpassing Shanghai. An Agenda for American Education Built on the World’s Leading Systems. Harvard Education Press.

Valverde, G. (2009). Estándares y evaluación. En S. Schwartzmann y C. Cox (Eds.), Políticas Educativas y Cohesión Social en América Latina (pp. 57-68). CIEPLAN.

Vegas, E., & Petrow, J. (2008). Raising Student Learning in Latin America. The Challenge for the 21st Century. Banco Mundial.

Verger, A, Parcerisa, L., & Fontdevila, C. (2018). The Growth and Spread of Large-Scale Assessments and Test-Based Accountabilities: A Political Sociology of Global Education Reforms. Educational Review, 71(1), 1–26. http://dx.doi.org/10.1080/00131911.2019.1522045

Vieira, S. L., Plank, D. N., y Vidal, E. M. (2019). Política Educacional no Ceará: processos estratégicos. Educação e Realidade, 44(4). https://seer.ufrgs.br/index.php/educacaoerealidade/article/view/87353

Weaver, K., y Rockman, B. (1993). Do institutions matter?: government capabilities in the United States and abroad. Brookings Institution Press.

Westbury, I. y Hsu, C. (1996). Structures of curriculum governance and classroom mathematics. Educational Evaluation Policy Analysis, 18, 123–139. https://doi.org/10.2307/1164552

Zawistowska, A. (2014). The Black Box of the Educational Reforms in Poland: What Caused the Improvement in the PISA Scores of Polish Students? Polish Sociological Review, 187(3), 333-350.